Nama Ayyubiyah dinisbatkan kepada Najmuddin Ayyub bin Syadi, ayah dari Shalahuddin al-Ayyubi, seorang Kurdi yang berasal dari Kota Dvin, di Utara Armenia. Najmuddin Ayyub berasal dari suku Rawadiya yang merupakan warga mayoritas Kota Dvin. Sebagian orang-orang Bani Ayyub menyatakan bahwa mereka bukanlah orang Kurdi. Mereka mengklaim sebagai orang Arab keturunan dari Bani Umayyah yang tinggal di Utara Armenia. Shalahuddin al-Ayyubi sendiri membantah pendapat ini, dan menyatakan bahwa ia adalah orang asli Kurdi bukan dari bangsa Arab.

Keadaan Kota Dvin yang semula nyaman bagi keluarga Syadi berubah menjadi kota yang tidak bersahabat setelah ditaklukkan oleh Turki. Hal ini memaksa Syadi membawa kedua putra; Najmuddin Ayyub dan Asaduddin Syirkuh pindah menuju Tikrit, Irak.

Sesampainya di Tikrit, ia disambut oleh temannya, Mujahid al-Din Bihruz, yang merupakan panglima militer Dinasti Saljuk untuk wilayah Utara Mesopotamia. Kemudian Bihruz mengangkat Syadi menjadi amir di wilayah Tikrit. Setelah Syadi wafat, putra tertuanya Ayyub menggantikan jabatannya dan sang adik Syirkuh menjadi wakilnya. Mereka berdua berhasil memimpin Tikrit dengan baik dan manarik simpati masyarakat.

Kepemimpinan mereka di Tikrit berjalan dengan baik dan tidak memiliki konflik dengan pihak luar sampai terjadi insinden terbunuhnya salah seorang pejabat Abbasiyah oleh Syirkuh. Menurut Syirkuh hal itu terjadi karena perwakilan Abbasiyah itu hendak mengganggu seorang wanita dan ia berusaha menolong wanita tersebut. Pihak Abbasiyah pun mengambil sikap dengan menjadikan Ayyub dan Syirkuh sebagai buronan. Akhirnya kedua bersaudara ini pindah dari Tikrit menuju wilayah kekuasaan Daulah Zankiyah. Di sana mereka mendapatkan perlindungan dari Nuruddin az-Zanki.

Pada masa selanjutnya, ketika Daulah Zankiyah tidak memiliki sosok pemimpin, mereka bergabung dan mengintegrasikan wilayah mereka di bawah kekuasaan Shalahuddin al-Ayyubi. Kemudian Mei 1175 Shalahuddiin ditetapkan sebagai penguasa Mesir, Maroko, Nubia, Arab Barat, Palestina, dan Suriah Tengah oleh Khalifah Abbasiyah.